Universidad de Las Palmas de Gran Canaria
Zaragoza 23 de mayo de 2019
Grandes retos de la utilización de datos masivos
1. Volumen de información
2. Velocidad de generación de datos
3. Variedad de datos
4. Veracidad de los datos
5. Viabilidad del uso de los datos
6. Visualización de los datos
7. Valor de los datos: datos que se transforman en información, conocimiento, acción y decisión
Grandes retos de la utilización de datos masivos
1. Volumen de información4. Veracidad de los datos
5. Visualización de los datos
6. Viabilidad del uso de los datos
7. Valor de los datos: datos que se transforman en información, conocimiento, acción y decisión
Presentar las oportunidades que ofrece el CMBD en la investigación en servicios sanitarios.
Efecto de la adopción de trombectomía primaria en la tasa de mortalidad por accidente cerebrovascular agudo (Indicador de calidad IQI 17).
Datos individuales de ingresos hospitalarios ente Enero de 2003 y diciembre de 2015.
Pacientes que ingresan con diagnóstico principal ictus isquémico
- Hospitalización (CMBD-H)
Información administrativa y clínica de los pacientes ingresados en unidades de hospitalización, la cual es recogida y codificada sistemáticamente en los hospitales, para cada episodio de hospitalización.
Los registros de alta son enviados al Ministerio por las comunidades autónomas, de acuerdo con el modelo de datos establecido al efecto por el Consejo Interterritorial.
Datos normalizados desde 1997 hasta 2015 inclusive de todos los hospitales de agudos del Sistema Nacional de Salud.
Las variables de consulta incluyen las básicas sobre edad y sexo del paciente, del episodio (tipo de ingreso y alta) y variables clínicas (sobre diagnósticos y procedimientos) a las que se añaden otras derivadas del uso de sistemas de clasificación de pacientes.
Flowchart of the patient population meeting inclusion criteria for the study
| Variable | Year.2003 | Year.2006 | Year.2009 | Year.2012 | Year.2015 | p_value |
|---|---|---|---|---|---|---|
| Number of admissions | 13,209 | 13,686 | 15,459 | 17,029 | 17,858 | <0.001 |
| In-hospital mortality | 1,715 | 1,669 | 1,763 | 1,837 | 1,884 | <0.001 |
| Age, year (SD) | 73.68 (12.16) | 73.52 (12.74) | 73.75 (13.03) | 74.33 (13.10) | 74.09 (13.44) | <0.001 |
| Gender, female (%) | 46.65 | 46.66 | 47.04 | 47.68 | 46.26 | 0.182 |
| Public holiday admission (%) | 26.81 | 27.06 | 27.00 | 27.59 | 27.37 | 0.15 |
| Congestive heart failure (%) | 4.06 | 4.13 | 4.52 | 5.38 | 5.40 | <0.001 |
| Pulmonary circulation disease (%) | 1.02 | 1.21 | 1.63 | 1.80 | 2.10 | <0.001 |
| Chronic pulmonary disease (%) | 9.58 | 8.28 | 8.29 | 9.29 | 9.42 | 0.456 |
| Renal failure (%) | 2.86 | 3.43 | 5.60 | 6.82 | 7.90 | <0.001 |
| Lymphoma (%) | 0.23 | 0.32 | 0.34 | 0.30 | 0.43 | 0.006 |
| Metastatic cancer (%) | 0.95 | 1.12 | 1.18 | 1.35 | 1.44 | <0.001 |
| Coagulopathy (%) | 0.62 | 0.69 | 0.72 | 1.30 | 1.25 | <0.001 |
| Fluid and electrolyte disorders (%) | 1.49 | 1.45 | 1.88 | 2.35 | 2.84 | <0.001 |
| Drug abuse (%) | 0.27 | 0.58 | 0.71 | 0.65 | 0.82 | <0.001 |
| Endovascular treatment (%) | 0.51 | 2.48 | 6.90 | 11.98 | 15.39 | <0.001 |
Nuestra variable endógena Y representa la Mortalidad en el hospital y sólo puede tomar dos valores, que codificamos como \(1\)= alta exitus y 0 para el resto. La distribución de Y es una Bernoulli cuya esperanza es:
\[E[Y]=P[Y=1]=p (0<p<1)\]
Sea X una posible variable predictora de Y, entonces la distribución condicional de Y sobre un valor de X = x, también sigue una distribución de Bernoulli de forma que la esperanza condicionada de Y sobre X = x es:
\[ E[Y |X = x] = P [Y = 1 |X = x] = p(x) \] y la varianza condicionada
\[ Var[Y |X = x] = p(x)·(1-p(x)) \]
Podemos formular el modelo para Y en función de X si para su estimación utilizamos una regresión lineal clásica. El modelo quedaría como: \[ Y = \alpha + \beta x + \epsilon(x) \] donde los errores son variables aleatorias independientes con esperanza 0 que distribuyen con una Bernoulli.
Esta estimación se corresponde con el denominado modelo de probabilidad lineal.
##
## Call:
## lm(formula = Yvar ~ Age + Pub.Hol + chf + pulmcirc + chrnlung +
## renlfail + lymph + mets + coag + lytes + procedure + Trend +
## as.factor(Season), data = df)
##
## Residuals:
## Min 1Q Median 3Q Max
## -0.65022 -0.13556 -0.10068 -0.04202 1.12254
##
## Coefficients:
## Estimate Std. Error t value Pr(>|t|)
## (Intercept) -1.600e-01 4.779e-03 -33.481 < 2e-16 ***
## Age 3.903e-03 5.410e-05 72.142 < 2e-16 ***
## Pub.Hol1 4.652e-03 1.554e-03 2.994 0.002754 **
## chf1 1.378e-01 3.314e-03 41.571 < 2e-16 ***
## pulmcirc1 6.680e-02 5.564e-03 12.006 < 2e-16 ***
## chrnlung1 1.046e-02 2.417e-03 4.326 1.52e-05 ***
## renlfail1 3.742e-02 3.070e-03 12.187 < 2e-16 ***
## lymph1 2.586e-02 1.215e-02 2.127 0.033381 *
## mets1 2.149e-01 6.214e-03 34.589 < 2e-16 ***
## coag1 4.233e-02 7.359e-03 5.753 8.80e-09 ***
## lytes1 1.513e-01 5.056e-03 29.932 < 2e-16 ***
## procedure1 2.345e-02 2.658e-03 8.824 < 2e-16 ***
## Trend -2.781e-04 1.583e-05 -17.565 < 2e-16 ***
## as.factor(Season)2 -8.248e-03 3.382e-03 -2.439 0.014746 *
## as.factor(Season)3 -5.783e-03 3.305e-03 -1.750 0.080203 .
## as.factor(Season)4 -1.139e-02 3.352e-03 -3.399 0.000676 ***
## as.factor(Season)5 -1.745e-02 3.324e-03 -5.250 1.53e-07 ***
## as.factor(Season)6 -1.607e-02 3.343e-03 -4.808 1.53e-06 ***
## as.factor(Season)7 -2.104e-02 3.345e-03 -6.290 3.19e-10 ***
## as.factor(Season)8 -1.356e-02 3.384e-03 -4.006 6.19e-05 ***
## as.factor(Season)9 -1.818e-02 3.393e-03 -5.358 8.44e-08 ***
## as.factor(Season)10 -1.219e-02 3.330e-03 -3.660 0.000252 ***
## as.factor(Season)11 -1.242e-02 3.325e-03 -3.736 0.000187 ***
## as.factor(Season)12 -4.834e-03 3.294e-03 -1.467 0.142255
## ---
## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
##
## Residual standard error: 0.3081 on 198837 degrees of freedom
## Multiple R-squared: 0.05418, Adjusted R-squared: 0.05407
## F-statistic: 495.2 on 23 and 198837 DF, p-value: < 2.2e-16
| Variables | Coeff.est | Variables.continuacion | Coeff.esti |
|---|---|---|---|
| Age | 0.159739199 | Coagulopathy | 0.012568462 |
| Congestive heart failure | 0.092006278 | Aug | -0.011546077 |
| Metastatic cancer | 0.075564027 | Nov | -0.010924643 |
| Fluid and electrolyte disorders | 0.065634436 | Oct | -0.010686706 |
| Trend | -0.039305639 | Apr | -0.009859374 |
| Renal failure | 0.026857163 | Chronic pulmonary disease | 0.009456179 |
| Pulmonary circulation disease | 0.026347108 | Feb | -0.007028169 |
| Trombechtomic procedure | 0.019652806 | Public Holiday | 0.006537678 |
| Jul | -0.018286712 | Mar | -0.005129385 |
| Sep | -0.015421203 | Lymphoma | 0.00464123 |
| May | -0.015325542 | Dec | -0.004318502 |
| Jun | -0.013986073 |
Los GLM’s tienen tres componentes.
Los modelos logit son modelos GLM dónde la distribución de la variable \(Y\) es binomial y la función de enlace es la función logística. Si llamamos \(\mu=P(Y=1)\) el modelo queda especificado como:
\[logit[\mu]=log\left(\frac{\mu}{1-\mu}\right)=\alpha+\beta_1x_1+...+\beta_px_p\] Estimemos un modelo logit sobre nuestros datos…
##
## Call:
## glm(formula = Yvar ~ Age + Pub.Hol + chf + pulmcirc + chrnlung +
## renlfail + lymph + mets + coag + lytes + procedure + Trend +
## as.factor(Season), family = binomial, data = df)
##
## Deviance Residuals:
## Min 1Q Median 3Q Max
## -1.9361 -0.5279 -0.4252 -0.2889 3.2872
##
## Coefficients:
## Estimate Std. Error z value Pr(>|z|)
## (Intercept) -6.0150072 0.0643860 -93.421 < 2e-16 ***
## Age 0.0536551 0.0007471 71.814 < 2e-16 ***
## Pub.Hol1 0.0468726 0.0162532 2.884 0.003928 **
## chf1 0.8670417 0.0254485 34.070 < 2e-16 ***
## pulmcirc1 0.5086507 0.0457789 11.111 < 2e-16 ***
## chrnlung1 0.1306847 0.0238028 5.490 4.01e-08 ***
## renlfail1 0.3140673 0.0276331 11.366 < 2e-16 ***
## lymph1 0.2745295 0.1142550 2.403 0.016271 *
## mets1 1.5834171 0.0460269 34.402 < 2e-16 ***
## coag1 0.4000333 0.0671150 5.960 2.52e-09 ***
## lytes1 0.9359007 0.0378296 24.740 < 2e-16 ***
## procedure1 0.3062087 0.0280336 10.923 < 2e-16 ***
## Trend -0.0032780 0.0001684 -19.467 < 2e-16 ***
## as.factor(Season)2 -0.0787613 0.0345572 -2.279 0.022658 *
## as.factor(Season)3 -0.0512318 0.0336684 -1.522 0.128095
## as.factor(Season)4 -0.1080770 0.0345659 -3.127 0.001768 **
## as.factor(Season)5 -0.1734149 0.0346828 -5.000 5.73e-07 ***
## as.factor(Season)6 -0.1642029 0.0349081 -4.704 2.55e-06 ***
## as.factor(Season)7 -0.2152187 0.0353821 -6.083 1.18e-09 ***
## as.factor(Season)8 -0.1373768 0.0351576 -3.907 9.33e-05 ***
## as.factor(Season)9 -0.1899614 0.0356987 -5.321 1.03e-07 ***
## as.factor(Season)10 -0.1214997 0.0343838 -3.534 0.000410 ***
## as.factor(Season)11 -0.1224585 0.0343525 -3.565 0.000364 ***
## as.factor(Season)12 -0.0472429 0.0334433 -1.413 0.157765
## ---
## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
##
## (Dispersion parameter for binomial family taken to be 1)
##
## Null deviance: 140416 on 198860 degrees of freedom
## Residual deviance: 129666 on 198837 degrees of freedom
## AIC: 129714
##
## Number of Fisher Scoring iterations: 5
##
## Attaching package: 'MASS'
## The following object is masked from 'package:plotly':
##
## select
## Waiting for profiling to be done...
## 2.5 % 97.5 %
## (Intercept) 0.0024 0.0022 0.0028
## Age 1.0551 1.0536 1.0567
## Pub.Hol1 1.0480 1.0151 1.0819
## chf1 2.3799 2.2638 2.5013
## pulmcirc1 1.6630 1.5194 1.8181
## chrnlung1 1.1396 1.0875 1.1938
## renlfail1 1.3690 1.2965 1.4448
## lymph1 1.3159 1.0462 1.6381
## mets1 4.8716 4.4496 5.3296
## coag1 1.4919 1.3059 1.6990
## lytes1 2.5495 2.3666 2.7450
## procedure1 1.3583 1.2853 1.4346
## Trend 0.9967 0.9964 0.9971
## as.factor(Season)2 0.9243 0.8637 0.9890
## as.factor(Season)3 0.9501 0.8894 1.0148
## as.factor(Season)4 0.8976 0.8387 0.9604
## as.factor(Season)5 0.8408 0.7855 0.8999
## as.factor(Season)6 0.8486 0.7924 0.9086
## as.factor(Season)7 0.8064 0.7523 0.8642
## as.factor(Season)8 0.8716 0.8135 0.9338
## as.factor(Season)9 0.8270 0.7710 0.8869
## as.factor(Season)10 0.8856 0.8278 0.9473
## as.factor(Season)11 0.8847 0.8271 0.9463
## as.factor(Season)12 0.9539 0.8933 1.0185
- AIC (Criterio de información de Akaike):
métrica análoga al \(R^2\) ajustado. Siempre preferimos el modelo con un valor mínimo de AIC.
- Null Deviance y Residual Deviance:
suma de los cuadrados de los residuos de la devianza en el modelo con solo constante y en el modelo con covariables respectivamente. Cuando menor valor mejor es el modelo.
- Valores observados vs. predichos:
porcentaje de observaciones correctamente predicas;
sensibilidad;
especificidad
área bajo la curva ROC.
## [1] "AIC 129714.2708"
## [1] "RsqrMcFadden 0.0766"
## [1] "Residual deviance 129666.2708"
##
## FALSE TRUE
## 0 0.549977 0.336873
## 1 0.035945 0.077205
## [1] "Accuracy 0.6272"
## [1] "Sensibilidad 0.6823"
## [1] "Especificidad 0.6201"
## [1] "Area under the ROC curve"
## [1] 0.70698
## Analysis of Deviance Table
##
## Model: binomial, link: logit
##
## Response: Yvar
##
## Terms added sequentially (first to last)
##
##
## Df Deviance Resid. Df Resid. Dev Pr(>Chi)
## NULL 198860 140416
## Age 1 7210 198859 133205 < 2e-16 ***
## Pub.Hol 1 7 198858 133198 0.0065 **
## chf 1 1247 198857 131951 < 2e-16 ***
## pulmcirc 1 126 198856 131825 < 2e-16 ***
## chrnlung 1 35 198855 131790 4.0e-09 ***
## renlfail 1 107 198854 131684 < 2e-16 ***
## lymph 1 6 198853 131678 0.0158 *
## mets 1 957 198852 130721 < 2e-16 ***
## coag 1 32 198851 130689 1.3e-08 ***
## lytes 1 508 198850 130181 < 2e-16 ***
## procedure 1 48 198849 130132 3.5e-12 ***
## Trend 1 393 198848 129739 < 2e-16 ***
## as.factor(Season) 11 72 198837 129666 4.1e-11 ***
## ---
## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
En los modelos de regresión es habitual asumir una relación lineal entre la variable dependiente y las variables independientes.
Como primera mejora se propone una relación polinómica, la cual obtiene mejores resultados la mayoría de las veces, pero que en situaciones de elevada variabilidad lleva a un ajuste excesivo que deriva en importantes errores de predicción.
Una alternativa a la relación polinómica es, en lugar de estimar un polinomio sobre todo el conjunto de valores de la variable (por ejemplo, la edad), dividir la misma en tramos ajustando relaciones diferentes lineales/polinómicas etc. en cada uno de ellos.
Charles J. Stone (1985). Additive Regression and Other Nonparametric Models.
The Annals of Statistics Vol. 13, No. 2, pp. 689-705.
Para predecir a partir de complejas relaciones (no lineales) que podrían incluso interaccionar;
Para comprender, visualizar esas relaciones;
Para controlar por dichas relaciones.
-Generalizado: pueden manejar muchas distribuciones de datos (normales, binomiales, de recuento, etc.);
-Aditivo: los términos simplemente se suman, si bien los términos en sí no son lineales;
-Modelo: Modelo
Un modelo de regresión no-lineal general tendría la siguiente forma:
\[ y=f(\mathbf{X}\beta) + \epsilon\] La función \(f(.)\) relaciona el valor medio de la variable respuesta \(y\) con las variables predictoras, y su forma está especificada a priori.
Los modelos GAM permiten otra generalización al incorporar formas no lineales diferentes para cada uno de los predictores.
\[ y=\beta_0+f_1(x_{i1})+f_2(x_{i2})+...+f_p(x_{ip})+\epsilon_i\] ajusta una función \(f_j\) por separado para cada \(X_j\). En otras palabras \(\beta x\) se reemplaza por la función de suavizado \(f(x)\).
Regla flexible de dibujo técnico
En los modelos GAM pasamos de los splines de dibujo técnico a los splines de regresión. Las regresiones splines (loess, etc.) no conectan todos los puntos sino que los ajustan a una función de suavizado simple en términos de grados de libertad.
El ajuste de los datos en cada sector se realiza de forma independiente.
La función de suavizado definitiva se elige teniendo en cuenta el “equilibrio” entre la mejoría en la verosimilitud (por ejemplo, la reducción en el AIC) y los grados de libertad.
Si las \(X'_s\) fuesen completamente independientes podríamos estimar una regresión no-paramétrica para cada una de ellas por separado.
Pero como cabe esperar que las \(X'_s\) estén relacionadas necesitamos ir “eliminando” el efecto de cada predictor.
Se utiliza el algoritmo denominado backfitting.
En un modelo con dos variables: \[ y=\beta_0+f_1(x_{i1})+f_2(x_{i2})+\epsilon_i\] reagrupamos la ecuación como \[ y-f_2(x_{i2})=\beta_0+f_1(x_{i1})+\epsilon_i\] en otras palabras “conocer una función nos permite encontrar la siguiente”
En el ejemplo de dos covariables, los residuos parciales de \(X_1\) son \[e^{(1)}_{i[1]}=y^*_i-b_2(x^*_{i2})\] y lo mismo con los de \(X_2\)
A continuación, suavizamos estos residuos respecto de sus respectivas \(X\), obteniéndose nuevos suavizados de los residuos parciales corregido el efecto del resto de \(X\).
\[RSS(f,\lambda)=\sum_{i=1}^N (y_i-f(x_i))^2+\lambda\int_{x_1}^{x_n}f''(x)^2~dx\] el primer término mide la cercanía a los datos, y el segundo penaliza la curvatura en la función.
El proceso de búsqueda de nuevas estimaciones de las funciones de suavizado de los residuos parciales se reitera hasta la convergencia
Cuando termina el proceso anterior obtenemos estimaciones de \(s_j(X_{ij})\) para cada valor de \(X_j\)
Lo “más interesante, hemos reducido una regresión múltiple a una serie de regresiones parciales bidimensionales, facilitando la interpretación (5. Visualización). Dado que cada regresión parcial es solo bidimensional, las formas funcionales se pueden trazar en gráficos bidimensionales que muestran los efectos parciales de cada \(X_j\) en \(Y\).
Incorporamos las funciones de suavizados sobre nuestras variables continuas: Edad, tendencia y estacionalidad.
\[logit[\mu]=log\left(\frac{\mu}{1-\mu}\right)=\alpha+f_1(x_1)+\beta_2x_2+...+f_p(x_p)\]lm(y ~ x1 + x2, data=data)
glm(y ~ x1 + x2, data=data, family=binomial)
library(mgcv)
gam(y ~ x1 + s(x2), data=data, family=binomial , method = “REML”)
##
## Family: binomial
## Link function: logit
##
## Formula:
## Yvar ~ s(Age) + Pub.Hol + chf + pulmcirc + chrnlung + renlfail +
## lymph + mets + coag + lytes + procedure + s(T) + s(Nmonth,
## k = 12, bs = "cc")
##
## Parametric coefficients:
## Estimate Std. Error z value Pr(>|z|)
## (Intercept) -2.4228 0.0107 -226.97 < 2e-16 ***
## Pub.Hol1 0.0482 0.0163 2.95 0.0032 **
## chf1 0.8482 0.0257 33.00 < 2e-16 ***
## pulmcirc1 0.5198 0.0461 11.29 < 2e-16 ***
## chrnlung1 0.1638 0.0240 6.83 8.3e-12 ***
## renlfail1 0.3207 0.0279 11.51 < 2e-16 ***
## lymph1 0.3178 0.1147 2.77 0.0056 **
## mets1 1.6122 0.0459 35.15 < 2e-16 ***
## coag1 0.4137 0.0673 6.15 7.7e-10 ***
## lytes1 0.9206 0.0382 24.11 < 2e-16 ***
## procedure1 0.3510 0.0281 12.47 < 2e-16 ***
## ---
## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
##
## Approximate significance of smooth terms:
## edf Ref.df Chi.sq p-value
## s(Age) 6.04 6.99 6691.6 < 2e-16 ***
## s(T) 4.31 5.30 464.6 < 2e-16 ***
## s(Nmonth) 3.72 10.00 56.5 4.9e-14 ***
## ---
## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
##
## R-sq.(adj) = 0.063 Deviance explained = 8.11%
## -REML = 64574 Scale est. = 1 n = 198861
Logit
## [1] "AIC 129714.2708"
## [1] "RsqrMcFadden 0.0766"
## [1] "Residual deviance 129666.2708"
## [1] "Area under the ROC curve"
## [1] 0.70698
GAM Logit
## [1] "AIC 129087.8136"
## [1] "RsqrMcFadden 0.0811"
## [1] "Residual deviance 129033.7159"
## [1] "Area under the ROC curve"
## [1] 0.7103
Contraste sobre la reducción en la deviance
## Analysis of Deviance Table
##
## Model 1: Yvar ~ Age + Pub.Hol + chf + pulmcirc + chrnlung + renlfail +
## lymph + mets + coag + lytes + procedure + Trend + as.factor(Season)
## Model 2: Yvar ~ s(Age) + Pub.Hol + chf + pulmcirc + chrnlung + renlfail +
## lymph + mets + coag + lytes + procedure + s(T) + s(Nmonth,
## k = 12, bs = "cc")
## Resid. Df Resid. Dev Df Deviance Pr(>Chi)
## 1 198837 129666
## 2 198836 129034 1.07 633 <2e-16 ***
## ---
## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
El paquete mgcv proporciona un contraste sobre la calidad de los suavizados
## null device
## 1
##
## Method: REML Optimizer: outer newton
## full convergence after 5 iterations.
## Gradient range [-4.8916e-08,0.0010942]
## (score 64574 & scale 1).
## Hessian positive definite, eigenvalue range [0.54803,2.5276].
## Model rank = 39 / 39
##
## Basis dimension (k) checking results. Low p-value (k-index<1) may
## indicate that k is too low, especially if edf is close to k'.
##
## k' edf k-index p-value
## s(Age) 9.00 6.04 0.96 0.74
## s(T) 9.00 4.31 0.95 0.59
## s(Nmonth) 10.00 3.72 0.99 0.99
## null device
## 1
## (Intercept) Pub.Hol1 chf1 pulmcirc1 chrnlung1 renlfail1
## 0.088677 1.049356 2.335500 1.681651 1.178017 1.378081
## lymph1 mets1 coag1 lytes1 procedure1
## 1.374149 5.013646 1.512351 2.510824 1.420463
## (Intercept) Age Pub.Hol1
## 0.0024 1.0551 1.0480
## chf1 pulmcirc1 chrnlung1
## 2.3799 1.6630 1.1396
## renlfail1 lymph1 mets1
## 1.3690 1.3159 4.8716
## coag1 lytes1 procedure1
## 1.4919 2.5495 1.3583
## Trend as.factor(Season)2 as.factor(Season)3
## 0.9967 0.9243 0.9501
## as.factor(Season)4 as.factor(Season)5 as.factor(Season)6
## 0.8976 0.8408 0.8486
## as.factor(Season)7 as.factor(Season)8 as.factor(Season)9
## 0.8064 0.8716 0.8270
## as.factor(Season)10 as.factor(Season)11 as.factor(Season)12
## 0.8856 0.8847 0.9539
##
## Family: binomial
## Link function: logit
##
## Formula:
## Yvar ~ s(Age) + Pub.Hol + chf + pulmcirc + chrnlung + renlfail +
## lymph + mets + coag + lytes + procedure + s(T, by = proceditromF) +
## s(Nmonth, k = 8, bs = "cc")
##
## Parametric coefficients:
## Estimate Std. Error z value Pr(>|z|)
## (Intercept) -2.4224 0.0107 -226.96 < 2e-16 ***
## Pub.Hol1 0.0483 0.0163 2.96 0.0031 **
## chf1 0.8481 0.0257 33.00 < 2e-16 ***
## pulmcirc1 0.5194 0.0461 11.28 < 2e-16 ***
## chrnlung1 0.1638 0.0240 6.83 8.3e-12 ***
## renlfail1 0.3203 0.0279 11.50 < 2e-16 ***
## lymph1 0.3178 0.1147 2.77 0.0056 **
## mets1 1.6125 0.0459 35.15 < 2e-16 ***
## coag1 0.4137 0.0673 6.15 7.8e-10 ***
## lytes1 0.9203 0.0382 24.10 < 2e-16 ***
## procedure1 0.3721 0.0418 8.91 < 2e-16 ***
## ---
## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
##
## Approximate significance of smooth terms:
## edf Ref.df Chi.sq p-value
## s(Age) 6.04 7.00 6692.0 < 2e-16 ***
## s(T):proceditromF0 3.80 4.71 430.8 < 2e-16 ***
## s(T):proceditromF1 3.51 4.36 41.5 4.7e-08 ***
## s(Nmonth) 3.32 6.00 55.7 6.4e-14 ***
## ---
## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
##
## R-sq.(adj) = 0.063 Deviance explained = 8.11%
## -REML = 64576 Scale est. = 1 n = 198861
Contraste sobre la reducción en la deviance
## Analysis of Deviance Table
##
## Model 1: Yvar ~ s(Age) + Pub.Hol + chf + pulmcirc + chrnlung + renlfail +
## lymph + mets + coag + lytes + procedure + s(T) + s(Nmonth,
## k = 12, bs = "cc")
## Model 2: Yvar ~ s(Age) + Pub.Hol + chf + pulmcirc + chrnlung + renlfail +
## lymph + mets + coag + lytes + procedure + s(T, by = proceditromF) +
## s(Nmonth, k = 8, bs = "cc")
## Resid. Df Resid. Dev Df Deviance Pr(>Chi)
## 1 198831 129034
## 2 198826 129028 4.68 5.84 0.28
En nuestro modelo aditivo generalizado incorporamos los efectos aleatorios a nivel hospital (en la constante y en la variable “procedimiento”) estimando una nueva función de suavizado (de acuerdo con una distribución Normal) para la interacción entre la variable que identifica al hospital y la dummy de procedimiento.
##
## Family: binomial
## Link function: logit
##
## Formula:
## Yvar ~ s(Age) + Pub.Hol + chf + pulmcirc + chrnlung + renlfail +
## lymph + mets + coag + lytes + procedure + s(T) + s(Nmonth,
## k = 8, bs = "cc") + s(chos2, bs = "re", by = proceditromF)
##
## Parametric coefficients:
## Estimate Std. Error z value Pr(>|z|)
## (Intercept) -2.4239 0.0383 -63.36 < 2e-16 ***
## Pub.Hol1 0.0482 0.0164 2.94 0.0033 **
## chf1 0.8414 0.0260 32.41 < 2e-16 ***
## pulmcirc1 0.5158 0.0464 11.11 < 2e-16 ***
## chrnlung1 0.1609 0.0241 6.68 2.4e-11 ***
## renlfail1 0.3211 0.0280 11.47 < 2e-16 ***
## lymph1 0.3119 0.1150 2.71 0.0067 **
## mets1 1.6265 0.0462 35.23 < 2e-16 ***
## coag1 0.4267 0.0676 6.32 2.7e-10 ***
## lytes1 0.8942 0.0386 23.19 < 2e-16 ***
## procedure1 0.3979 0.0759 5.24 1.6e-07 ***
## ---
## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
##
## Approximate significance of smooth terms:
## edf Ref.df Chi.sq p-value
## s(Age) 6.07 7.03 6676.7 < 2e-16 ***
## s(T) 4.04 4.99 459.7 < 2e-16 ***
## s(Nmonth) 3.23 6.00 53.1 3.9e-13 ***
## s(chos2):proceditromF0 36.15 38.00 895.5 < 2e-16 ***
## s(chos2):proceditromF1 26.41 38.00 140.7 < 2e-16 ***
## ---
## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
##
## R-sq.(adj) = 0.0701 Deviance explained = 8.89%
## -REML = 2.8049e+05 Scale est. = 1 n = 198861
GAM Logit
## [1] "AIC 129087.8136"
## [1] "RsqrMcFadden 0.0811"
## [1] "Residual deviance 129033.7159"
## [1] "Area under the ROC curve"
## [1] 0.70698
Mixed GAM Logit
## [1] "AIC 128114.3068"
## [1] "RsqrMcFadden 0.0889"
## [1] "Residual deviance 127935.4568"
## [1] "Area under the ROC curve"
## [1] 0.71846
Contraste sobre la reducción en la deviance
## Analysis of Deviance Table
##
## Model 1: Yvar ~ s(Age) + Pub.Hol + chf + pulmcirc + chrnlung + renlfail +
## lymph + mets + coag + lytes + procedure + s(T) + s(Nmonth,
## k = 12, bs = "cc")
## Model 2: Yvar ~ s(Age) + Pub.Hol + chf + pulmcirc + chrnlung + renlfail +
## lymph + mets + coag + lytes + procedure + s(T) + s(Nmonth,
## k = 8, bs = "cc") + s(chos2, bs = "re", by = proceditromF)
## Resid. Df Resid. Dev Df Deviance Pr(>Chi)
## 1 198831 129034
## 2 198761 127935 69.7 1098 <2e-16 ***
## ---
## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## [1] "Estimated variance components"
## std.dev lower upper
## s(chos2):proceditromF0 0.22862 0.18058 0.28945
## s(chos2):proceditromF1 0.34209 0.24765 0.47254
## [1] "Conditional intraclass correlation"
## ICC Std. Err. L95%CI U95%CI
## 0.0152 0.0036 0.0096 0.0240
## [1] "Median Odds ratio"
## MOR L95%CI U95%CI
## 1.2236 1.1733 1.2901
## [1] "Testing for a random slope"
## Chi2(2) Prob>chi2
## 60.568 0.000
El paquete mgcv dispone de una función “bam” para el ajuste de modelos GAM con grandes volúmenes de datos. La ventaja de bam es que optimiza el uso de la memoria en la computación utilizando menos tiempo para la convergencia de los modelos. bam también puede trabajar con clústers previamente configurados en el paquete parallet.